18.065 Lecture 1

课程主页：https://ocw.mit.edu/courses/mathematics/18-065-matrix-methods-in-data-analysis-signal-processing-and-machine-learning-spring-2018/index.htm

之前在Gilbert Strang教授的主页上注意到新课Matrix Methods in Data Analysis, Signal Processing, and Machine Learning，上周终于上线了，最近计划暑假前把这门课刷完，记录一些笔记和习题解析。

这一讲的主题是The Column Space of $A$ Contains All Vectors $Ax$。

例1

首先回顾$Ax$的解释，其中$A$是矩阵，$x$是向量，考虑如下例子：

$Ax = \left[ \begin{matrix} 2 & 1 &3 \\ 3 & 1 & 4 \\ 5 & 7 & 12 \end{matrix} \right]\left[ \begin{matrix} x_1\\ x_2\\ x_3 \end{matrix} \right]$

一种理解为内积的理解，即

$Ax = \left[ \begin{matrix} 2x_1 + x_2 +3x_3 \\ 3x_1 + x_2 + 4 x_3\\ 5x_1 + 7x_2 + 12x_3 \end{matrix} \right]$

另一种理解为列向量的线性组合，即

$Ax =x_1 \left[ \begin{matrix} 2\\3\\5 \end{matrix} \right]+x_2 \left[ \begin{matrix} 1\\1\\7 \end{matrix} \right]+x_3 \left[ \begin{matrix} 3\\4\\12 \end{matrix} \right]$

注意$A$的秩为$2$，所以$Ax$表示平面。

对于一般的情形，我们有

$Ax =A的列空间\triangleq \mathcal C(A)$

例2

再来看一个例子：

$A=\left[ \begin{matrix} 1 & 3 &8\\ 1 & 3 &8\\ 1 & 3 &8 \end{matrix} \right]= \left[ \begin{matrix} 1 \\ 1 \\ 1 \end{matrix} \right] \left[ \begin{matrix} 1 & 3 &8 \end{matrix} \right]=uv^T$

显然

$\text{rank}(A)=1 =\#线性无关的列的数量$

所以

$\mathcal C(A)=直线$

例3

考虑如下例子：

$\begin{aligned} A&=\left[ \begin{matrix} 2 & 1 &3\\ 3 & 1 &4\\ 5 & 2 &7 \end{matrix} \right]\\ &= \left[ \begin{matrix} 2 & 1\\ 3 & 1 \\ 5 & 2 \end{matrix} \right]\left[ \begin{matrix} 1 & 0 &1\\ 0 & 1 &1 \end{matrix} \right]\\ &\triangleq CR \end{aligned}$

其中$C$的含义为column，由为$C$的列的基向量；$R$的含义是row，表示基向量组对应的系数，特别的，我们有

$\left[ \begin{matrix} 2 & 1\\ 3 & 1 \\ 5 & 2 \end{matrix} \right]\left[ \begin{matrix} 1 \\ 0 \end{matrix} \right] =\left[ \begin{matrix} 2 \\ 3 \\ 5 \end{matrix} \right] =a_1$

实际上$R$也为$A$的行的基向量，所以该分解说明了$A$的行秩等于列秩。

对$AB$的理解

假设$A\in \mathbb R^{m\times n}, B\in \mathbb R^{n\times p}$，对于矩阵乘法$AB$，有两种理解，第一种理解为$A$的行向量和$B$的列向量做内积：

$AB=\left[ \begin{array}{c}{\tilde{a}_{1}^{T}} \\ {\vdots} \\ {\tilde{a}_{m}^{T}}\end{array}\right] \left[ \begin{matrix}{b_{1}} & {b_{2}} & {\cdots} & {b_{p}}\end{matrix}\right] =[\tilde a_i^T b_j]_{m\times p}$

这种方式的计算量为

$n\times m\times p=mnp$

另一种理解为$A$的列向量和$B$的行向量相乘：

$AB=\left[ \begin{matrix}{a_{1}} & {a_{2}} & {\cdots} & {a_{n}}\end{matrix}\right] \left[ \begin{array}{c}{\tilde{b}_{1}^{T}} \\ {\vdots} \\ {\tilde{b}_{n}^{T}}\end{array}\right] =\sum_{i=1}^n a_i\tilde b_i^T$

这种方式的计算量为

$n\times mp =mnp$

可以看到这两种方式的计算量相同。

习题

1

考虑如下例子

$a_1= \left[ \begin{matrix} 1 \\ 0\\ 0\\ 0\\ \end{matrix} \right],a_2=\left[ \begin{matrix} 0 \\ 1\\ 0\\ 0\\ \end{matrix} \right],a_3 =\left[ \begin{matrix} 1 \\ 1\\ 0\\ 0\\ \end{matrix} \right]$

那么

$a_1 +a_2 -a_3=0$

向量形式为

$A=\left[ \begin{matrix}a_1 & a_2 & a_3 \end{matrix}\right],x=\left[ \begin{matrix} 1\\ 1\\ -1 \end{matrix}\right],Ax=0$

其中

$A\in \mathbb R^{4\times 3},x\in \mathbb R^3,0\in \mathbb R^4$

4

不难看出可以取

$x= \left[ \begin{matrix} 1 \\ 0\\ -1 \end{matrix} \right],y= \left[ \begin{matrix} 0\\ 1\\ -1 \end{matrix} \right]$

其中

$Ax=\left[ \begin{matrix} 1 \\ 1\\ 1 \end{matrix} \right] -\left[ \begin{matrix} 1 \\ 1\\ 1 \end{matrix} \right] =\left[ \begin{matrix} 0 \\ 0\\ 0 \end{matrix} \right]$

注意到

$\text{rank}(A) =1$

所以$Ax=0$只有两个线性无关的解，因此老师没有让我们找第三个线性无关的向量$z$，使得$Az=0$。

9

设矩阵为$A$，因为$A$的列空间是$\mathbb R^3$，所以$m=3$，并且

$r=\text{rank}(A) =3$

所以显然有

$n\ge 3$

18

由$A=CR$可得$\left[ \begin{array}{ll}{0} & {A} \\ {0} & {A}\end{array}\right]$对应的$C’=\left[ \begin{matrix} {C} \\ {C}\end{matrix}\right]$，所以

$\left[ \begin{array}{ll}{0} & {A} \\ {0} & {A}\end{array}\right]=\left[ \begin{matrix} {C} \\ {C}\end{matrix}\right] \left[ \begin{matrix} 0 & R\end{matrix}\right]$